Analysing Errors of Open Information Extraction Systems

We report results on benchmarking Open Information Extraction (OIE) systems using RelVis, a toolkit for benchmarking Open Information Extraction systems. Our comprehensive benchmark contains three data sets from the news domain and one data set from Wikipedia with overall 4522 labeled sentences and 11243 binary or n-ary OIE relations. In our analysis on these data sets we compared the performance of four popular OIE systems, ClausIE, OpenIE 4.2, Stanford OpenIE and PredPatt. In addition, we evaluated the impact of five common error classes on a subset of 749 n-ary tuples. From our deep analysis we unreveal important research directions for a next generation of OIE systems.Comment: Accepted at Building Linguistically Generalizable NLP Systems at EMNLP 201

Adaptive Overlays in Peer-to-Peer Networks

Drei aktuelle Trends haben neue Perspektiven für die Recherche in Unternehmensdaten geschaffen: Eine Explosion lokal gespeicherter Daten, der Bedarf des Austausches dieser Daten in und zwischen einzelnen Unternehmen und ein zunehmender Kundenwunsch nach einer integrativen Suche in lokalen und entfernten Quellen. Alle drei Aspekte zusammen bewirken einen Marktwert für Dienste der Art 'Integrierte Suche'. Ein wesentlicher Teilaspekt eines unternehmensübergreifenden Suchdienstes ist die Auswahl relevanter Datenquellen, beispielsweise vernetzte Desktops im Unternehmen. Der Mehrwert dieses Dienstes entsteht in der effizienten und geschickten Auswahl von Quellen; der Dienst soll möglichst wenig Quellen anfragen und trotzdem möglichst alle relevanten Quellen finden. Aufgrund der Unübersehbarkeit und Dynamik der Daten sowie der Volatilität und Autonomie der Quellen ist die Entwicklung dieses Dienstes eine besondere Herausforderung für die Informatik. Die vorliegende Dissertation beschreibt einen solchen Dienst am Beispiel von Peer-to-Peer Netzwerken. Inspiriert durch Milgram's Untersuchungen der Small World Netzwerke entwickeln wir eine neue Routing Strategie für ein volatiles Netzwerk, in dem ein Peer eine Person repräsentiert. Aus den Interaktionen der Peers leiten wir zusätzliche Verbindungen im Netzwerk, sogenannte Shortcuts, ab, die jeder Peer lokal in einem Index speichert. Dadurch entsteht ein Overlay Netzwerk, welches eine für das effiziente Routing besonders hilfreiche Anordnung der Peers aufweist: Peers mit ähnlichen Interessen sind direkt miteinander vernetzt. Eine dynamische Kombination von themenspezifischen, vernetzungsabhängigen und zufälligen Routing Strategien entlang der Shortcuts ermöglicht die gezielte und effiziente Auswahl relevanter Quellen mit minimaler Belastung des Netzwerkes und ohne manuelle Unterstützung durch den Benutzer. Für die Verwaltung der lokalen Shortcut Indices entwickeln wir einen neue Indexstrategie. Diese erlaubt die gezielte Aktualisierung lokal gespeicherter Shortcuts und berücksichtigt sowohl Änderungen der Verfügbarkeit von Quellen als auch von Daten im Netzwerk. Die Ergebnisse der vorliegenden Arbeit unterstützen maßgeblich die Entwicklung eines integrierten Suchdienstes. Simulationen zeigen, dass, gegenüber vergleichbaren Ansätzen, der Recall für eine Anfrage deutlich erhöht und die Kosten für eine Anfrage drastisch gesenkt werden. Shortcut Overlay Netzwerke sind robust, sie tolerieren wechselnde Interessen sowie eine hohe Volatilität der Peers. Diese Eigenschaften, kombiniert mit der vollständig lokalen Erstellung, Auswahl und Verwaltung der Indices, machen Shortcut Overlay Netzwerke zu einer sehr vielversprechenden Alternative zu Flooding-basierten Ansätzen oder verteilten Hashtabellen.In research and business currently we notify three key trends: the explosion of unstructured data; the critical need to formally manage content; and internetworking and collaboration within and between enterprises. Peer-to-Peer information systems address the need to access content wherever it resides, to produce content while maintaining control over it, and to collaborate efficiently by sharing real-time data within a distributed network of stakeholders. Enterprises that are highly dependent on sharing real-time information across geographically spread knowledge workers are likely to benefit immediately from peer-to-peer information systems. This thesis focuses on the issue of determining a relevant peer in a completely decentralized and volatile setting without any static peers, such as necessitated by peer-to-peer information systems in virtual organizations. Example applications, such as the networked semantic desktop and legal music sharing, serve as rationale throughout the thesis. We discuss, which routing strategies exist, when they should be used, and -most importantly- how can we enhance their recall and lower their communication costs. The full autonomy of peers as well as the full control of their own resources preclude prominent resource location and query routing schemes, such as distributed hash tables. We propose a new resource location and a semantic query routing approach that exploits social metaphors of topical experts and experts' experts as well as semantic similarity of queries and information sources. The novel design principle of our approach lies in the dynamic adaptation of the network topology, driven by the history of successful or semantically similar queries. This is memorized by using bounded local shortcut indexes storing semantically labelled shortcuts and a dynamic shortcut selection strategy, which forwards queries to a community of peers that are likely to best answer queries. Our results support the development of a completely decentralized peer-to-peer information system significant. Extensive simulations show that the clustering of peers within semantic communities drastically improves the overall performance of our algorithm even in a highly volatile setting, while our index policy locally indices the 'right' peers, that provide resources to the core interests of a requesting peer. Shortcut overlays are robust; they tolerate interests shifts and high network volatility. These attractive properties, combined with the locality preserving design of the index management and peer selection algorithm, pose shortcut overlay networks as a very promising alternative to state of the art semantic routing approaches

Mining for Social Serendipity

A common social problem at an event in which people do not personally know all of the other participants is the natural tendency for cliques to form and for discussions to mainly happen between people who already know each other. This limits the possibility for people to make interesting new acquaintances and acts as a retarding force in the creation of new links in the social web. Encouraging users to socialize with people they don't know by revealing to them hidden surprising links could help to improve the diversity of interactions at an event. The goal of this paper is to propose a method for detecting "surprising" relationships between people attending an event. By "surprising" relationship we mean those relationships that are not known a priori, and that imply shared information not directly related with the local context of the event (location, interests, contacts) at which the meeting takes place. To demonstrate and test our concept we used the Flickr community. We focused on a community of users associated with a social event (a computer science conference) and represented in Flickr by means of a photo pool devoted to the event. We use Flickr metadata (tags) to mine for user similarity not related to the context of the event, as represented in the corresponding Flickr group. For example, we look for two group members who have been in the same highly specific place (identified by means of geo-tagged photos), but are not friends of each other and share no other common interests or, social neighborhood